A core process in human cognition is analogical mapping: the ability to identify a similar relational structure between different situations. We introduce a novel task, Visual Analogies of Situation Recognition, adapting the classical word-analogy task into the visual domain. Given a triplet of images, the task is to select an image candidate B' that completes the analogy (A to A' is like B to what?). Unlike previous work on visual analogy that focused on simple image transformations, we tackle complex analogies requiring understanding of scenes. We leverage situation recognition annotations and the CLIP model to generate a large set of 500k candidate analogies. Crowdsourced annotations for a sample of the data indicate that humans agree with the dataset label ~80% of the time (chance level 25%). Furthermore, we use human annotations to create a gold-standard dataset of 3,820 validated analogies. Our experiments demonstrate that state-of-the-art models do well when distractors are chosen randomly (~86%), but struggle with carefully chosen distractors (~53%, compared to 90% human accuracy). We hope our dataset will encourage the development of new analogy-making models. Website: https://vasr-dataset.github.io/
translated by 谷歌翻译
虽然神经语言模型往往对自然语言理解(NLU)任务进行令人惊讶的令人惊讶,但它们的优势和局限性仍然很差。因此,受控的合成任务是用于诊断模型行为的越来越重要的资源。在这项工作中,我们专注于讲故事的理解,是NLU系统的核心竞争力。然而,讲故事的主要综合资源是Babi基准,缺乏可控任务生成的这种系统机制。我们开发Dyna-Babi,一种动态框架,提供对Babi中的任务生成的细粒度控制。我们通过构建一个组成概括的三项新任务来展示我们的想法,这是来自原始基准的重要评估设置。我们测试了为BABI开发的专用模型以及最先进的预训练方法,发现这两种方法都解决了原始任务(> 99%的精度),并且在组成泛化设置中都没有成功地成功地成功,表示原始培训数据的局限性。我们探索了增加原始数据的方法,发现,尽管多样化培训数据比简单地增加数据集尺寸更有用,但它仍然不足以驾驶鲁棒成分泛化(具有<70%的复杂组合物的精度)。我们的结果强调了高度可控任务发生器通过模型和数据开发的良性循环创建强大的NLU系统的重要性。
translated by 谷歌翻译
We present nBIIG, a neural Business Intelligence (BI) Insights Generation system. Given a table, our system applies various analyses to create corresponding RDF representations, and then uses a neural model to generate fluent textual insights out of these representations. The generated insights can be used by an analyst, via a human-in-the-loop paradigm, to enhance the task of creating compelling table reports. The underlying generative neural model is trained over large and carefully distilled data, curated from multiple BI domains. Thus, the system can generate faithful and fluent insights over open-domain tables, making it practical and useful.
translated by 谷歌翻译
MRI中胎儿结构的体积测量很耗时,并且容易发生错误,因此需要自动分割。由于胎盘模糊边界和胎儿脑皮层复杂的褶皱,胎盘分割和准确的胎儿脑分割进行回旋评估特别具有挑战性。在本文中,我们研究了对问题的轮廓骰子损失的使用,并将其与其他边界损失以及联合骰子和横向内向损失进行比较。通过侵蚀,扩张和XOR操作员有效地计算出每个切片的损失。我们描述了类似于轮廓骰子指标的损失的新公式。骰子损失和轮廓骰子的组合为胎盘分割提供了最佳性能。对于胎儿脑部分割,最佳性能的损失是结合骰子丢失,随后是骰子和轮廓骰子损失的骰子,其性能比其他边界损失更好。
translated by 谷歌翻译
深度学习方法已被证明可以有效地分割医学成像中的结构和病理。但是,它们需要大量注释的数据集,其手动分割是一项繁琐且耗时的任务,尤其是对于大型结构。我们提出了一种新的部分注释方法,该方法使用每次扫描中的一小部分连续注释切片,其注释工作仅等于很少的注释情况。通过仅使用带注释的块进行部分注释的培训,将有关切片的信息包含在感兴趣的结构之外,并修改批处理损失函数以仅考虑带注释的切片。为了促进低数据制度中的培训,我们使用两步优化过程。我们用两个MRI序列Trufi和Fiesta用流行的软骰子损失测试了该方法,并将完整的注释状态与部分注释与类似的注释工作进行了比较。对于TRUFI数据,与完整注释相比,部分注释的使用平均表现稍好一些,骰子得分从0.936增加到0.942,并且骰子的标准偏差(STD)大幅下降22%,平均对称表面距离(ASSD)提高15%。对于嘉年华的序列,部分注释还会在分布数据中分别降低骰子分数和ASSD指标的STD和ASSD指标分别降低27.5%和33%骰子得分从0.84到0.9,从7.46降低到4.01毫米。两步优化过程有助于部分注释分别分配和分布数据。因此,建议使用两步优化器的部分注释方法在低数据制度下改善分割性能。
translated by 谷歌翻译
正常的胎儿脂肪组织(AT)发育对于围产期健康至关重要。在或简单地脂肪以脂质形式存储能量。营养不良可能导致过度或耗尽的肥胖。尽管以前的研究表明,AT和围产期结局的量之间存在相关性,但缺乏定量方法,对AT的产前评估受到限制。使用磁共振成像(MRI),可以从两个点Dixon图像中获得整个胎儿的3D脂肪和纯水图像,以在脂质定量时启用。本文是第一个提出一种基于Dixon MRI的胎儿脂肪分割的深度学习方法的方法。它优化了放射科医生的手动胎儿脂肪描述时间,以生成带注释的培训数据集。它由两个步骤组成:1)基于模型的半自动胎儿脂肪分割,由放射科医生进行了审查和纠正; 2)使用在所得的注释数据集中训练的DL网络的自动胎儿脂肪分割。培训了三个DL网络。与手动分割相比,我们显示出分割时间(3:38小时至<1小时)和观察者变异性(0.738至0.906)的显着改善。用3D残差U-NET,NN-UNET和SWIN-UNETR TRONSERTER网络对24个测试用例进行自动分割,平均骰子得分分别为0.863、0.787和0.856。这些结果比手动观察者的变异性更好,并且与自动成人和小儿脂肪分割相当。一名放射科医生审查并纠正了六个新的独立案例,并使用最佳性能网络进行了细分,导致骰子得分为0.961,校正时间显着减少了15:20分钟。使用这些新颖的分割方法和短暂的MRI获取时间,可以在临床和大型果园研究中量化全身皮下脂质的单个胎儿。
translated by 谷歌翻译
符号音乐分割是将符号旋律分为较小有意义的群体(例如旋律短语)的过程。我们提出了一种无监督的方法来分割符号音乐。提出的模型基于时间预测误差模型的合奏。在训练过程中,每个模型都预测了下一个令牌,以识别音乐短语变化。在测试时,我们执行峰值检测算法以选择候选段。最后,我们汇总了参与合奏的每个模型以预测最终分割的预测。结果表明,在考虑F-SCORE和R-VALUE时,建议的方法在无监督的设置下达到了Essen Folksong数据集的最先进性能。我们还提供消融研究,以更好地评估每个模型组件对最终结果的贡献。正如预期的那样,提出的方法不如监督环境,这为未来的研究提供了改善的空间,考虑到无监督和监督方法之间的差距。
translated by 谷歌翻译
超声检查的胎儿生长评估是基于一些生物特征测量,这些测量是手动进行并相对于预期的妊娠年龄进行的。可靠的生物特征估计取决于标准超声平面中地标的精确检测。手动注释可能是耗时的和依赖操作员的任务,并且可能导致高测量可变性。现有的自动胎儿生物特征法的方法依赖于初始自动胎儿结构分割,然后是几何标记检测。但是,分割注释是耗时的,可能是不准确的,具有里程碑意义的检测需要开发特定于测量的几何方法。本文描述了Biometrynet,这是一个克服这些局限性的胎儿生物特征估计的端到端地标回归框架。它包括一种新型的动态定向测定(DOD)方法,用于在网络训练过程中执行测量特定方向的一致性。 DOD可降低网络训练中的变异性,提高标志性的定位精度,从而产生准确且健壮的生物特征测量。为了验证我们的方法,我们组装了一个来自1,829名受试者的3,398张超声图像的数据集,这些受试者在三个具有七个不同超声设备的临床部位收购。在两个独立数据集上的三个不同生物识别测量值的比较和交叉验证表明,生物元网络是稳健的,并且产生准确的测量结果,其误差低于临床上允许的误差,优于其他现有的自动化生物测定估计方法。代码可从https://github.com/netanellavisdris/fetalbiometry获得。
translated by 谷歌翻译
使用合成数据来训练在现实世界数据上实现良好性能的神经网络是一项重要任务,因为它可以减少对昂贵数据注释的需求。然而,合成和现实世界数据具有域间隙。近年来,已经广泛研究了这种差距,也称为域的适应性。通过直接执行两者之间的适应性来缩小源(合成)和目标数据之间的域间隙是具有挑战性的。在这项工作中,我们提出了一个新颖的两阶段框架,用于改进图像数据上的域适应技术。在第一阶段,我们逐步训练一个多尺度神经网络,以从源域到目标域进行图像翻译。我们将新的转换数据表示为“目标中的源”(SIT)。然后,我们将生成的SIT数据插入任何标准UDA方法的输入。该新数据从所需的目标域缩小了域间隙,这有助于应用UDA进一步缩小差距的方法。我们通过与其他领先的UDA和图像对图像翻译技术进行比较来强调方法的有效性,当时用作SIT发电机。此外,我们通过三种用于语义分割的最先进的UDA方法(HRDA,daformer and proda)在两个UDA任务上,GTA5到CityScapes和Synthia to CityScapes来证明我们的框架的改进。
translated by 谷歌翻译
可解释性正在成为一个活跃的研究主题,因为机器学习(ML)模型更广泛地用于做出关键决策。表格数据是不同应用中最常用的数据模式之一,如医疗保健和金融。用于表格数据的大部分现有的解释性方法仅报告功能 - 重要性分数 - 或者每个示例)或全局(每种型号) - 但它们不提供特征如何交互的解释或可视化。我们通过引入特征向量来解决此限制,这是一种为表格数据集设计的新的全局解释性方法。除了提供功能重要性之外,特征向量通过直观的特征可视化技术发现特征之间的固有语义关系。我们的系统实验通过将其应用于几个现实世界数据集来证明这种新方法的经验效用。我们还提供了一种用于特征向量的易于使用的Python包。
translated by 谷歌翻译